학습 목표

이 수업을 마치면 다음을 할 수 있습니다:

• AI 출력물과 프로세스를 사려 깊게 평가하는 방법 이해하기
• AI 상호작용을 위한 비판적 사고 능력 개발하기
• AI 상호작용에서 품질 문제를 파악하고 해결하는 방법 배우기

분별력 자세히 살펴보기

(5분)

이 영상은 AI 유창성의 핵심 역량인 분별력(Discernment)을 탐구합니다. 분별력은 AI 출력물, 프로세스, 행동을 사려 깊게 평가하는 능력입니다. 분별력은 묘사(Description)의 반대편에 해당합니다. 묘사가 의도를 명확히 전달하는 데 도움을 준다면, 분별력은 받은 결과물이 요구를 충족하는지 평가하는 데 도움을 줍니다. 이 영상에서는 세 가지 유형의 분별력을 소개합니다:

• 결과물 분별력(Product Discernment): AI 출력물의 품질 평가
• 과정 분별력(Process Discernment): AI가 작업에 접근한 방식 평가
• 수행 분별력(Performance Discernment): 상호작용 과정에서 AI가 보인 행동 평가

이 세 가지 역량이 함께 작용하여 AI 협업이 사려 깊은 인간의 판단에 의해 이끌어지도록 보장합니다.

핵심 요점

• 분별력은 AI가 무엇을 생성하는지, 어떻게 생성하는지, 그리고 어떻게 행동하는지를 사려 깊게 평가하는 능력입니다
• 결과물 분별력은 실제 출력물의 품질(정확성, 적절성, 일관성, 관련성)을 평가하는 데 초점을 둡니다
• 과정 분별력은 AI가 어떻게 결과물에 도달했는지를 평가하며, 논리적 오류, 주의 부족, 부적절한 추론을 찾아냅니다
• 수행 분별력은 협업 과정에서 AI의 행동 방식을 평가하며, 커뮤니케이션 스타일이 요구에 효과적인지를 고려합니다
• 분별력은 묘사(Description)와 지속적인 피드백 루프 속에서 긴밀히 협력합니다
• 가장 발전된 AI 시스템조차도 인간의 판단과 감독으로부터 혜택을 받습니다

연습문제

전문가 분별력: 내 분야에서 AI 응답 평가하기

활동 목표

자신이 전문 지식을 가진 분야에서 AI가 생성한 콘텐츠를 평가함으로써 결과물 분별력, 과정 분별력, 수행 분별력을 연습하고, 자신의 지식이 AI 출력물을 비판적으로 평가하는 능력을 어떻게 향상시키는지 인식합니다.

지침

1단계: 전문 분야로 돌아가기

이전 연습문제(2강, 연습문제 2: "좋아하는 것 탐구하기")에서 Claude와 나눴던 주제를 떠올려보세요. 이 주제는 여러분이 깊은 지식과 열정을 가진 분야였습니다.

2단계: 여러 설명 요청하기

Claude와 새 대화를 시작하여 전문 주제의 특정 측면에 대해 세 가지 다른 설명이나 분석을 생성해달라고 요청하세요. 예를 들어:

• 주제가 사진이라면, 피사계 심도에 대한 세 가지 다른 설명을 요청할 수 있습니다
• 주제가 요리라면, 발효 기법에 대한 세 가지 다른 분석을 요청할 수 있습니다
• 주제가 역사라면, 특정 역사적 사건에 대한 세 가지 다른 관점을 요청할 수 있습니다

3단계: 전문가 분별력 적용하기

전문 지식을 바탕으로 Claude가 제공한 각 설명을 꼼꼼히 평가하세요:

결과물 분별력:

• 가장 정확한 정보를 담고 있는 설명은 어느 것인가요?
• 사실 오류나 오해가 있나요?
• 이 주제를 배우는 사람에게 적절한 수준의 세부 정보가 제공되었나요?

과정 분별력:

• Claude는 각 설명에서 논리적 추론을 따르고 있나요?
• 분석이나 사고 과정에 빈틈이 있나요?
• Claude는 개념 간 적절한 연결을 만들고 있나요?

수행 분별력:

• Claude는 여러분의 구체적인 질문에 주의를 기울이고 피드백과 방향에 반응했나요?
• 주제에 적합한 용어가 사용되었나요?
• 어조와 문체가 설명의 명확성에 어떤 영향을 미치나요?

4단계: 피드백 및 개선하기

평가를 바탕으로:

1. 가장 뛰어난 설명을 찾아 Claude에게 왜 효과적인지 구체적으로 알려주세요
2. 가장 약한 설명을 찾아 무엇이 문제인지 구체적인 피드백을 제공하세요
3. Claude와 협력하여 발견한 문제를 해결한 개선된 버전을 만들어보세요

5단계: 성찰

같은 대화에서 Claude와 함께 논의해보세요:

• 강점과 약점을 파악할 수 있게 해준 구체적인 지식은 무엇이었나요?
• 전문 지식이 없는 사람은 이 설명들의 품질을 판단하는 데 어떤 어려움을 겪을까요?
• 이 경험에서 분야 지식과 효과적인 분별력의 관계에 대해 무엇을 배웠나요?

더 재미있는 분별력 훈련을 원한다면, 마지막 수업(“추가 활동”)의 “게임 나이트” 제안들을 시도해 보세요.

성찰

다음으로 넘어가기 전에 잠시 생각해보세요:

• 결과물 분별력, 과정 분별력, 수행 분별력 중 적용하기 가장 어려운 유형은 무엇이며, 그 이유는 무엇인가요?
• 분별력은 묘사(Description)를 어떻게 보완하나요? 둘은 어떻게 함께 작동하나요?
• AI 출력물이 더 면밀한 검토가 필요하다는 신호나 패턴은 무엇일까요?

다음 내용

다음 수업에서는 전체 과정 프로젝트에 묘사(Description)와 분별력(Discernment) 역량을 모두 적용할 기회를 갖게 됩니다. AI와 효과적으로 소통하고 출력물을 비판적으로 평가하여 인간과 AI의 최고 역량을 활용한 결과물을 만드는 방법을 실천해볼 것입니다.

피드백

과정을 진행하면서 일상, 업무, 수업에서 이 과정의 개념을 어떻게 활용하고 있는지, 그리고 의견이 있으시면 알려주세요. 여기에서 피드백을 공유하세요.

감사의 말 및 라이선스

Copyright 2025 Rick Dakan, Joseph Feller, and Anthropic. CC BY-NC-SA 4.0 라이선스 하에 배포됩니다.

이 과정은 Dakan과 Feller의 AI 유창성 프레임워크를 기반으로 합니다. 아일랜드 고등교육청(Higher Education Authority)의 교수학습향상국가포럼(National Forum for the Enhancement of Teaching and Learning)을 통해 일부 지원을 받았습니다.